# -*- coding: utf-8 -*-
# @Time    : 2019/1/7 10:53
# @Author  : Zachary
# @File    : 机考爬虫.py
"""
1. 分析返回番剧列表信息的真正请求。用requests包构造请求,得到响应的json数据。（20+10）
2. 爬取第一页信息，控制台print两个字段番剧名、缩略图网址。（20）
3. 前十页，新增字段 播放量、投稿时间。按投稿时间倒序，保存为csv或xlsx格式。（20+20）
提示：减少无用的又不容易构造的可选参数，不影响请求。
request_url=https://api.bilibili.com/x/web-interface/newlist?callback=jqueryCallback_bili_42885308963105384&rid=33&type=0&pn=1&ps=20&jsonp=jsonp&_=1546829716288
"""
import requests
import json
import time
import csv
# from lxml import etree
# from urllib import request
class Bilispider(object):
    def __init__(self):
        self.url='https://api.bilibili.com/x/web-interface/newlist?'
        # 伪装请求头
        self.header={

            'Referer': 'https://www.bilibili.com/v/anime/serial/?spm_id_from=333.334.b_7072696d6172795f6d656e75.8',
            'Host': 'api.bilibili.com',
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
        }
        self.save_header()

        # self.html=''

    def get_html(self):
        # 请求html
        for i in range(1, 11):
            print(f'正在爬取第{i}页')
            params={
                'rid':33,
                'type':0,
                'pn':i,
                'ps':20

            }
            # 拼接url，设置爬取 i页数
            # 限制爬取速度2S，
            time.sleep(5)
            # 请求源代码
            resp = requests.get(url=self.url,params=params,headers=self.header).text
            self.parse_html(resp)


    def parse_html(self,resp):
        # json解析
        html_dict = json.loads(resp)
        # print(html_dict)
        # 获取archives里面的数据
        data = html_dict['data']['archives']
        #  遍历json里data大字典
        list = []
        for content in data:
            title = content['title'] # 标题
            # print(title)
            img = content['pic'] # 照片
            view = content['stat']['view'] # 播放量
            ctime = content['ctime'] # 投稿时间
            if ctime:
                # 将投稿时间转换为指定格式的日期
                timeArray = time.localtime(ctime)
                otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)

                new = [title,img,view,otherStyleTime]
                list.append(new)
                self.save_svg(list)
            print(f'番剧名：{title}\n缩略图：{img}\n播放量：{view}\n投稿时间：{otherStyleTime}')
    def save_svg(self, new):
        # 保存到本地文件
        with open('bili番剧.csv',mode='w',newline='', encoding='utf-8')as f:
            writer = csv.writer(f)
            for n in new:
                writer.writerow(n)

    def save_header(self):
        header = [['番剧名', '图片链接', '播放量', '投稿时间']]
        with open('bili番剧.csv', mode='w', newline='', encoding='utf-8') as f:
            writer = csv.writer(f)
            writer.writerow(header)

    def run(self):
        self.get_html()
        self.save_svg(new=self.parse_html)


if __name__ == '__main__':
    s=Bilispider()
    s.run()

